Les regards des développeurs du monde entier se tournent à nouveau vers la Chine ! Lors de la Conférence mondiale des développeurs (GDC), très attendue, la communauté ModelScope d'Alibaba Cloud a annoncé le lancement de deux nouveaux modèles multimodaux open source de Step-by-Step : Step-Video-T2V, le modèle de génération vidéo open source au plus grand nombre de paramètres au monde, et Step-Audio, le premier modèle d'interaction vocale open source de niveau production du secteur. Cette annonce a immédiatement suscité l'enthousiasme de la communauté open source mondiale de l'IA, soulignant une fois de plus la forte capacité d'innovation de la Chine dans le domaine de l'intelligence artificielle. En tant que plus grand acteur chinois de l'IA...

Récemment, Hu Han, ancien chercheur principal du groupe de calcul visuel du Microsoft Research Asia, a officiellement rejoint Tencent pour diriger la recherche et le développement du grand modèle multi-modal HunYuan. Cette nouvelle a suscité un vif intérêt dans l'industrie, l'arrivée de Hu Han étant considérée comme une injection de dynamisme pour les activités d'intelligence artificielle de Tencent. Hu Han a obtenu son diplôme de Bachelor à l'Université Tsinghua en 2008 et son doctorat en 2014 sous la supervision du professeur Zhou Jie. Sa thèse de doctorat a reçu le prix de la meilleure thèse de doctorat de la Chinese Association for Artificial Intelligence en 2016, témoignant de ses compétences académiques. En 2012, Hu Han...

Fei-Fei Li, professeure à l'université de Stanford et surnommée la « marraine de l'IA », et son équipe ont récemment publié une étude sur « l'intelligence spatiale » des grands modèles multimodaux. Cette étude révèle que ces modèles possèdent déjà des capacités préliminaires en matière de mémorisation et de rappel spatial, et montrent un potentiel pour former des modèles du monde partiels. L'équipe de recherche a développé VSI-Bench, un outil d'évaluation des capacités d'intelligence visuo-spatiale, contenant plus de 5000 paires de questions-réponses de haute qualité basées sur 288 vidéos réelles. Les vidéos testées couvrent les espaces de vie, les lieux professionnels et les environnements industriels, et concernent plusieurs emplacements géographiques.

Selon les informations de Intelligent Emergence, Jieyue Xingchen, une licorne chinoise spécialisée dans les grands modèles, a récemment bouclé un tour de financement série B de plusieurs centaines de millions de dollars. Parmi les principaux investisseurs figurent Shanghai State-owned Capital Investment Co., Ltd. et ses fonds affiliés, ainsi que des investisseurs stratégiques et financiers tels que Tencent Investment, Wuyuan Capital et Qiming Venture Partners. Ces fonds seront principalement utilisés pour la recherche et le développement de modèles fondamentaux, afin d'améliorer davantage les capacités multimodales et de raisonnement complexe, et d'étendre les applications grand public. Figurant parmi les six principaux acteurs chinois des grands modèles, Jieyue Xingchen se distingue par la solidité de sa technologie et son efficacité de production. Sa série de modèles Step auto-développés couvre le langage et l'image.

L’équipe de Fei-Fei Li a présenté un nouveau modèle multi-modal capable de comprendre et de générer des actions humaines, et qui, grâce à l’intégration d’un modèle linguistique, permet un traitement unifié du langage oral et non verbal. Cette avancée majeure permet aux machines non seulement de comprendre les instructions humaines, mais aussi de déchiffrer les émotions sous-jacentes aux actions, pour une interaction homme-machine plus naturelle. Au cœur du modèle se trouve un cadre de modèle linguistique multi-modal, capable de recevoir des données d’entrée sous diverses formes : audio, actions et texte, et de produire les données modales nécessaires. Associé à une stratégie de pré-entraînement génératif, ce modèle...

Le 21 septembre 2024, lors de la conférence Cloud Computing à Hangzhou, Alibaba a annoncé plusieurs innovations technologiques et évolutions commerciales. Parmi celles-ci, le lancement officiel d'une section AIGC sur la communauté ModelScope, visant à fournir aux développeurs une plateforme complète de création et de développement d'IA. Cette plateforme offre actuellement l'accès gratuit à tous les modules fonctionnels et à la puissance de calcul GPU. Elle met en ligne, dans un premier temps, 157 modèles multimodaux sélectionnés, incluant des modèles populaires de la communauté et des modèles LoRa stylisés contribués par des designers.

PaddleMIX 2.0 est une boîte à outils de développement de modèles multimodaux lancée par Baidu, visant à simplifier le développement d'applications multimodales et à prendre en charge des scénarios tels que la conduite autonome, les soins de santé intelligents et les moteurs de recherche. Ses points forts clés incluent : 1. **Une riche bibliothèque de modèles :** couvrant les images, le texte, la vidéo et l'audio, avec l'ajout de modèles de la série LLaVA, offrant un support technologique de pointe. 2. **Une expérience de développement complète :** équipé de DataCopilot et de modules automatiques, il simplifie le processus d'entraînement des modèles multimodaux. 3. **Une capacité d'entraînement haute performance**

La marque « Lingdong » a été soigneusement conçue par NetEase Fuxi en s'appuyant sur ses modèles industriels de grande envergure développés en interne et sur le concept technologique AOP (perception et opération par intelligence artificielle). Ses deux produits phares, un robot excavateur et un robot chargeur, sont déjà déployés dans plus de 50 projets importants au niveau provincial, servant des environnements d'application variés tels que les mines, les ports, les centrales à béton et les écoles.

Sketchpad permet aux modèles de langage (LM) de dessiner à l'aide de lignes, de cadres, de marques, etc., ce qui se rapproche davantage du dessin humain et facilite le raisonnement. De plus, Sketchpad peut utiliser des modèles visuels professionnels pendant le processus de dessin, tels que des modèles de détection d'objets pour dessiner des cadres de délimitation et des modèles de segmentation pour dessiner des masques, afin d'améliorer encore la perception visuelle et les capacités de raisonnement.

'OpenAI et Microsoft poursuivis par des agences de presse pour violation de droits d'auteur' 'Les modèles multimodaux deviennent la tendance dominante dans le domaine des grands modèles' 'OpenAI serait en pourparlers avec des éditeurs' 'Publication de nombreuses réglementations sur l'IA, la question des droits d'auteur sur les ensembles de données de haute qualité est prise au sérieux' 'CITIC Publishing collabore avec des entreprises de grands modèles pour la formation linguistique' 'L'avantage clé de Visual China à l'ère de l'AIGC'

Kuaishou a lancé une nouvelle stratégie d'IA, développant des modèles de langage de grande envergure et des modèles multimodaux de plus de 100 milliards de paramètres. Kuaishou a lancé le modèle de génération d'images à partir de texte « Ke Tu », capable de générer des œuvres picturales riches en détails et de styles variés. Kuaishou accélère l'application de ses grands modèles linguistiques à des scénarios spécifiques, offrant davantage de services de génération de contenu multimodaux grâce à l'IA. Les produits Kuaishou possèdent de multiples capacités de création grâce à l'IA, aidant les créateurs à produire facilement du contenu de styles variés. Kuaishou s'engage à maintenir sa position de leader en Chine pour faire face aux éventuelles percées technologiques.

L'équipe de Ma Yi a proposé le cadre EMT pour évaluer l'oubli catastrophique des grands modèles multimodaux (MLLM) après un ajustement fin. Les expériences montrent que l'ajustement fin des MLLM améliore les performances sur l'ensemble de données d'ajustement fin, mais entraîne également une baisse des performances sur d'autres ensembles de données. Pendant l'ajustement fin, les MLLM produisent des textes hallucinatoires liés à l'ensemble de données d'ajustement fin et ignorent la question originale. Cette recherche fournit un cadre et une référence pour les travaux futurs, la conception des modèles et les techniques d'entraînement nécessitant encore des optimisations. L'équipe de Ma Yi a réalisé la première évaluation systématique de l'oubli catastrophique dans les MLLM.

OpenAI a publié un nouveau modèle linguistique à instructions, InstructGPT-3.5, dont les performances sont comparables à celles de GPT-3.5 Turbo. Un modèle multi-modal, GPT-Vision, et un modèle multi-modal plus puissant, codé nommé "Gobi", sont prévus. OpenAI répond activement à la concurrence de Gemini de Google pour maintenir sa position de leader dans le domaine de l'IA.